одна из основных
теорем теории информации о передаче сигналов по каналам связи при наличии помех, приводящих к искажениям. Пусть надлежит передать последовательность символов, появляющихся с определёнными вероятностями, причём имеется некоторая вероятность того, что передаваемый символ в процессе передачи будет искажён. Простейший способ, позволяющий надёжно восстановить исходную последовательность по получаемой, состоит в том, чтобы каждый передаваемый символ повторять большое число (
N) раз. Однако это приведёт к уменьшению скорости передачи в
N раз, т. е. сделает её близкой к нулю. Ш. т. утверждает, что можно указать такое, зависящее только от рассматриваемых вероятностей положительное число
v,
что при сколько угодно малом ε>0 существуют способы передачи со скоростью
v'(
v' < v), сколь угодно близкой к
v,
дающие возможность восстанавливать исходную последовательность с вероятностью ошибки, меньшей ε. В то же время при скорости передачи
v', большей
v,
это уже невозможно. Упомянутые способы передачи используют надлежащие "помехоустойчивые" коды. Критическая скорость
v определяется из соотношения
Hv =
C, где
Н - Энтропия источника на символ,
С - ёмкость канала в двоичных единицах в секунду.